AI Shift: големите езикови модели правят ли ни по-малко продуктивни?

Тази публикация е версия на място на бюлетина The AI ​​Shift. Премиум клиентите могат да се записват тук, с цел да получават бюлетина всеки четвъртък. Стандартните клиенти могат да надстроят до Premium тук или да прегледат всички бюлетини на FT

Добре пристигнали още веднъж в The AI ​​Shift, нашия седмичен бюлетин за AI и пазара на труда.

Ако опасността от начално равнище на професионален покалипсис (вижте изданието от предходната седмица) е най-голямото безпокойствие на доста хора по отношение на генеративния ИИ, другата страна на монетата би трябвало да са големи облаги в продуктивността за тези от нас, които имат шанса към този момент да работят като бели якички. И по този начин, опитните служащи в най-изложените на AI промишлености реализират ли повече за по-малко време, като употребяват собствен личен стажант? Нека стартираме с обзор на данните.

Джон пише . . . 

Първият въпрос, който би трябвало да си зададем, когато се занимаваме с AI и продуктивността, е рекламираните облаги произлизат ли от догатки, които самите ние оповестяваме, или се мерят непосредствено?

Много от най-ярките заглавия попадат в първата категория. Последният образец пристигна единствено преди два дни, когато ни беше изпратено известие за пресата, в което се декларира, че ново проучване демонстрира, че „ ИИ покачва продуктивността с еквивалента на един работен ден на седмица “.

20-процентен скок в продуктивността ще се покаже явен като бял ден в макроикономическите данни, само че ние не виждаме нищо сходно. Дяволът е в детайлите: цифрата беше получена посредством питане на хиляди чиновници какъв брой часа на седмица считат, че потреблението на AI им икономисва работата. Това сигурно не е безполезна информация, само че не е и изключително надеждна. Всъщност тази цифра от 20 % ми звънна доста добре . . . 

Преди няколко месеца изследователската организация за изкуствен интелект METR организира опит за премерване на въздействието на изкуствения разсъдък върху продуктивността. Той набра 16 опитни разработчици на програмен продукт и ги помоли да дават образци за задания за шифроване в техните описи със задания, след което случайно им разпореди да изпълнят някои от тези задания благодарение на най-новите принадлежности за изкуствен интелект и други без. След това участващите разработчици бяха запитани какъв брой време считат, че AI им е икономисал. отговорът? Тези познати 20 %. уловката? Освен личните оценки, METR записва какъв брой време в действителност са лишили дилемите. Оказа се, че разработчиците са с 19 % по-бавни с AI, в сравнение с без него.

Въз основа на следващи диалози с участниците, едно правдоподобно пояснение, на което METR се спря, е, че тъкмо богатият опит на разработчиците е предизвикал очевидното закъснение на AI. Те нормално работеха по доста огромни и дълготрайни планове, които възнаграждават безмълвното познание за метода на AI да се стартира от първите правила. Техните високо подготвени очи ги правеха изключително придирчиви, когато ревизираха код, генериран от AI. Това добавя други проучвания, които откриват, че AI постоянно покачва продуктивността с по-базово писане и инспекция на код. Опитът, сложността и подтекстът са от голяма важност.

Но METR не е единствената работа, която слага под подозрение някои от най-смелите изказвания за усъвършенстваната с AI работливост в софтуера. Ако модифицираната доктрина е, че би трябвало да забележим по-голямо влияние върху кода с по-ниска трудност и новите планове, в сравнение с върху зрелите такива, може да чакаме да забележим напредък в стартирането на нови приложения за смарт телефони, уеб страници или планове за шифроване с отворен код. И въпреки всичко обстоен разбор от деец софтуерен инженер Майк Джъдж не откри сходно нещо.

Струва си да се повтори, че METR е относително малко и идиосинкратично изследване, което не претендира, че е представително за работата на софтуера като цяло, да не приказваме за по-широката стопанска система, и Джъдж е просто още един от многото способи за разглеждане на това, само че две неща, които мисля, че научаваме тук са 1) хората постоянно не са положителни съдии за това дали AI ги прави по-продуктивни, да не приказваме за това какъв брой и 2) е допустимо един инструмент да се усеща равен и прелестен за потребление, без в действителност да ни прави по-ефективни.

Сара написа...

Добре е да ни се подсети, Джон, че когато става дума за личното ни показване в работата, ние не постоянно сме надеждни очевидци! Но до момента в който разгледахте този въпрос на равнище обособени задания, мисля, че историята става още по-интересна, когато вземете поради продуктивността на организационно равнище. Защото даже в случай че огромните езикови модели в действителност оказват помощ на хората да се състезават с избрани задания, това не значи, че компаниите би трябвало да чакат автоматизирано и съразмерно нарастване на общата продуктивност. Това е по този начин, тъй като организациите не са просто групи от човеци, те са системи.

Нека се придържаме към кодирането за миг, тъй като е добър образец. Намерих последния годишен отчет от изследователската стратегия DORA на Гугъл Cloud (която интервюира софтуерни инженери и наблюдава индикатори за ефективност) за забавен по тази тематика. В него се твърди, че ролята на AI в създаването на програмен продукт се оказва ролята на усилвател, който „ усилва мощните страни на високоефективните организации и дисфункциите на борещите се “. Изследването откри, че най-хубавата възвращаемост се генерира от екипи с добра „ съществена организационна система “, до момента в който „ без тази основа AI основава локализирани джобове на продуктивност, които постоянно се губят заради хаоса надолу по веригата “. Както един път сподели У. Едуардс Деминг, именитият специалист по ръководство, „ една неприятна система ще победи всякога добър човек. “

Джейсън Горман, който образова и наставлява разработчиците на програмен продукт, ми го изясни по следния метод: ускоряването на генерирането на код „ в развой с действителни усложнения “ може да утежни тези усложнения. „ Екипите с висока продуктивност са се справили с същинските усложнения – тъй че те не вършат нещата на огромни партиди и етапи, като предаванията, тестването, прегледът на кода, интеграцията и противоположната връзка с клиентите се случват непрестанно “, сподели той. „ Повечето екипи за разработчици би трябвало да поправят тези проблеми, преди даже да помислят да прикрепят генериращ код противопожарен маркуч към своите водопроводни съоръжения. “

Бих бил любопитен да схвана дали това резонира с читатели с други специалности (изпратете ни имейл). Може да съумеете да съставите записка за нов план по-бързо, само че въпреки всичко би трябвало ли да чакате комисия да я прочете и утвърди? И дали тези лица, вземащи решения, в този момент се давят допълнително бележки от всеки път? Тук също има връзка с термина „ workslop “, фиктивен в публикация от Harvard Business Review, с цел да опише „ леко изпитание, удовлетворително изглеждаща работа, която в последна сметка основава повече работа за техните сътрудници “.

Примерът за разработка на програмен продукт като цяло обаче е окуражаващ. Това допуска, че облагите в продуктивността би трябвало да се усилят с времето, защото самите принадлежности се усъвършенстват, служащите се научават по какъв начин да ги употребяват по-ефективно и организациите стартират да преструктурират някои процеси, с цел да се възползват оптимално от тях. Докладът на DORA за 2025 година допуска, че е реализиран прогрес от 2024 година да вземем за пример. И в случай че е вярно да се каже, че съществуващите организационни структури могат да задържат нещата, тогава би трябвало да стартираме да виждаме някои доста продуктивни започващи компании, които могат да основават интегрирани с AI работни потоци от празен лист.

И по този начин, какво научихме?

John

Винаги проверявайте етикета за декларирани нараствания на продуктивността. Самоотчитаните оценки на времето, спестено от AI, са обезсърчителен индикатор, който в най-хубавия случай води до прекомерно оптимистични пресиления и в най-лошия трансформира негативното в позитивно. Директните измервания на измененията в продукцията и изразходваното време са златният стандарт, макар че както излиза наяве както от образеца с METR, по този начин и от твоето отчитане, Сара, даже тук не би трябвало да одобряваме, че резултатите за избрана среда или компания безусловно ще се ползват по-широко. Подобно на тематиката за изместването на работа от предходната седмица, постоянно има съмнение, че бързо ще забележим въздействието на ИИ под формата на необятна вълна, забележима в макроикономическите данни, само че даже и технологията да се усъвършенства гладко и устойчиво, нейното внедряване няма да стане.

Сара

За бизнеси, които се чудят за какво към момента не виждат огромни облаги в продуктивността от AI, най-хубавата концепция евентуално е да се направи деликатна оценка на системите, работните потоци и тесните места, вместо да се кара обособените чиновници да употребяват новите принадлежности по-често. Въпреки това, не всички тесни места са лесни за премахване. В специалности с високи залози като счетоводство и право, условията за качество и акуратност ми се костват един образец. Джон, ти изтъкваш, че AI става много ловък в осъществяването на „ обзор на кода “ в софтуерния бранш, само че в подтекст без код, човешките специалисти към момента би трябвало да ревизират написаните от AI документи за халюцинации и неточности. Вече видяхме някои образци за репутационните и финансовите последствия за фирмите, които не са съумели да влагат задоволително време и опит в инспекцията на генерирания от AI резултат.

Все още има време да запазите мястото си на срещата на върха на FT за бъдещето на AI на 5-6 ноември, включваща Дженсен Хуанг от Nvidia и 600 бизнес водачи, участващи в приложението на AI. Като клиент на AI Shift можете да получите 20 % отстъпка от пропуск за персонално посещаване на тазгодишната среща на върха, като употребявате кода. Или се регистрирайте за своя безвъзмезден дигитален пропуск.

Препоръчително четене

Професорът от Wharton School Ethan Mollick има премислена публикация за подобренията в ИИ на сътрудниците и смисъла на човешката организация за ориентиране на тези сътрудници да правят работа, която обезпечава същинска обществена стойност (Джон)

Нашата сътрудник Изабел Berwick има забавно дълго видео за „ обърканото “ внедряване на AI на работното място (Сара)

Файненшъл Таймс и MIT Technology Review започват нова поредност от бюлетини от шест елементи за AI. Първо, Джон Торнхил и Цайвей Чен разискват борбата сред Съединени американски щати и Китай за превъзходство. Регистрирайте се тук.

Препоръчани бюлетини за вас

Бюлетинът на Lex — Lex, нашата графа за вложения, разрушава основните тематики от седмицата с разбор от наградени създатели. Регистрирайте се тук

Working It — Всичко, от което се нуждаете, с цел да напреднете в работата, във входящата ви поща всяка сряда. Регистрирайте се тук